%%{ init: { 'flowchart': { 'curve': 'natural' } } }%%
flowchart LR
T(Theory)
P(Phenomena)
D(Data)
T -- "Explanation" --> P
P -- "Abduction" --> T
P -- "Prediction" --> D
D -- "Generalization" --> P
Buridan’s Ass
2023-09-18
%%{ init: { 'flowchart': { 'curve': 'natural' } } }%%
flowchart LR
T(Theory)
P(Phenomena)
D(Data)
T -- "Explanation" --> P
P -- "Abduction" --> T
P -- "Prediction" --> D
D -- "Generalization" --> P
See Borsboom et al. (2021). Theory Construction Methodology: A Practical Framework for Building Theories in Psychology. Perspectives on Psychological Science, 16(4), 756–766. https://doi.org/10.1177/1745691620969647
%%{ init: { 'flowchart': { 'curve': 'natural' } } }%%
flowchart LR
P(Phenomena)
D(Data)
P -- "Prediction" --> D
D -- "Generalization" --> P
Phenomena: Stable and general features of the world in need of explanation. Can be understood as robust generalizations of patterns in empirical data. They are the explanatory targets for scientific theories. In psychology often called “effects”.
Data: Relatively direct observations. Refer to particular empirical patterns in concrete data sets rather than empirical generalizations (which would be phenomenona).
See Borsboom et al. (2021). Theory Construction Methodology: A Practical Framework for Building Theories in Psychology. Perspectives on Psychological Science, 16(4), 756–766. https://doi.org/10.1177/1745691620969647
%%{ init: { 'flowchart': { 'curve': 'natural' } } }%%
flowchart LR
P(Phenomena)
D(Data)
P -- "Prediction" --> D
D -- "Generalization" --> P
linkStyle 1 stroke-width:2px,stroke:red,color:red;
Data provide evidence for the existence of empirical phenomena: You generalize from one or more data sets with strong evidence to a general phenomenon.
To claim a (robust) phenomenon, you ideally need:
%%{ init: { 'flowchart': { 'curve': 'natural' } } }%%
flowchart LR
P(Phenomena)
D(Data)
P -- "Prediction" --> D
D -- "Generalization" --> P
linkStyle 1 stroke-width:2px,stroke:red,color:red;
Probably most of psychology is about establishing effects (disguised as “theories”).
Techniques used to detect data patterns: - Factor analysis - Principal components analysis - Regression - ANOVA
See presentation of Denny Borsboom
%%{ init: { 'flowchart': { 'curve': 'natural' } } }%%
flowchart LR
P(Phenomena)
D(Data)
P -- "Prediction" --> D
D -- "Generalization" --> P
linkStyle 0 stroke-width:2px,stroke:red,color:red;
Phenomena (once their existence has been established) predict similar data patterns in new data sets of the same operationalization (as in “direct replication”) and ideally also for new operationalizations (as in “conceptual replication”).
The risky shift phenomenon: A group’s decisions are riskier than the average of the individual decisions of members before the group met (i.e., the group discussion made individuals riskier).
See Westfall et al. (2015). Replicating Studies in Which Samples of Participants Respond to Samples of Stimuli. Perspectives on Psychological Science, 10(3), 390–399. https://doi.org/10.1177/1745691614564879
Question for discussion: Is the “risky shift” finding - as demonstrated in the early publications - a phenomenon?
My take: It is a phenomenon (though a weak one), as it generalizes to new instances (data sets) of the same operationalization. It is a phenomenon of this specific stimulus set and suggests certain types of research questions (e.g., “What is so specific to this stimulus set?”).
%%{ init: { 'flowchart': { 'curve': 'natural' } } }%%
flowchart LR
P(Phenomena)
D(Data)
P -- "Prediction" --> D
D -- "Generalization" --> P
The concerns of the replication crisis typically referred to the relation between data and phenomena:
%%{ init: { 'flowchart': { 'curve': 'natural' } } }%%
flowchart LR
T(Theory)
P(?? Phenomena ??)
D(Data)
T -- "Explanation" --> P
P -- "Abduction" --> T
P ---> D
D -. "?? Generalization ??" .-> P
linkStyle 2 stroke-width:0px,stroke:grey,color:grey;
linkStyle 3 stroke-width:2px,stroke:red,color:red;
Doubt about phenomena propagates to theories: If there is no phenomenon to explain, any explanatory theory gets obsolete.
“We argue that a further cause of poor replicability is the often weak logical link between theories and their empirical tests.”
See Oberauer, K., & Lewandowsky, S. (2019). Addressing the theory crisis in psychology. Psychonomic Bulletin & Review, 26(5), 1596–1618. https://doi.org/10.3758/s13423-019-01645-2
Obstacles to building useful theories in psychology:
Slide by Karolin Salmen, CC-BY
See Eronen & Bringmann (2021)
Wenn die Psychologie das Fehlen eines theoretischen Fundaments beklagt, so greift diese Diagnose zu kurz: Woran es ihr eigentlich mangelt, ist ein Nährboden, auf dem ein solches Fundament überhaupt entstehen könnte. Ihr fehlt das große heuristische Narrativ. Die Physik hat ein solches Narrativ; es ist der Glaube an die Sphärenmusik einer kosmischen Harmonie, erkennbar an dem Vertrauen, mit dem man erwartet, auf Symmetrien, Erhaltungssätze und überhaupt auf einfache Zusammenhänge zu stoßen. Die Psychologen haben sich dieses Narrativ ausgeborgt; aber bei ihnen funktioniert es nicht.
Auch für sie aber läge ein solcher Kompass bereit, und die Systemtheorie könnte sie lehren, ihn zu nutzen. Den Technikern ist er seit je vertraut, und ebenso ordnet und lenkt er das Denken der Biologen […]. Dieses heuristische Narrativ - wir werden es in diesem Buch unter dem Stichwort des demiurgischen Prinzips kennenlernen - ist die Vision des kosmischen Ingenieurs, des Weltbaumeisters, der den Organismus unter der Leitidee nicht der Harmonie, sondern der Funktionalität, des “Wozu” konstruiert hat.
See Bischof (2021), “Struktur und Bedeutung”
„The man who is violently, but equally, hungry and thirsty, and stands at an equal distance from food and drink, and who therefore must remain where he is.“
Aristoteles: De Caelo/On the Heavens. Trans. W. K. C. Guthrie, Heinemann, London 1938, 2:13:295b (S. 237)
https://p8.storage.canalblog.com/87/85/553105/80715840.jpeg
See Wikipedia
“Die Gnosis kannte die Gestalt des Demiurgen, eines Schöpfergottes von niederem Rang, der von der Hochgottheit den Auftrag erhalten hatte, den Kosmos zu erbauen”N. Bischof (in prep, S. 143)
By Dmitrismirnov - Own work, CC BY-SA 3.0
Der Forscher, der eine komplexe Struktur verstehen will, ist gut beraten, wenn er sich in die Rolle eines solchen Demiurgen versetzt und sich vorstellt, er hätte sie selbst konstruieren müssen. Natürlich muss er dafür eine begründete Vermutung haben, was sie leisten soll. Leistung schließt immer eine Zielvorgabe ein, die Arbeit des Demiurgen läuft also naturgemäß im Rahmen einer telischen Heuristik 1 ab.N. Bischof (in prep, S. 143)
Note
Wäre ich ein Ingenieur, der einen Mechanismus so konstruieren soll, dass er eine Leistung des Organismus ebenso gut wie dieser erbringt und dabei möglichst dieselben Fehler macht – wie würde ich dann vorgehen?
Bischof (in prep, S. 143)
Scenario: The environment has a source of food and a source of water, substantially distant from each other. The donkey has a general metabolism that continuously consumes food and water reserves in the body; this consumption is higher during physical activity. As soon as one of the two reserves in the body drops to zero, the donkey dies.
(Simplifying) assumptions:
Task: Construct an organism, with as few assumptions as possible, that survives as long as possible. Which constructs / sensors / abilities are necessary for this?
Note
Wäre ich ein Ingenieur, der, aufbauend auf der letzten funktionstüchtigen Vorform, einen Mechanismus so konstruieren soll, dass er eine Leistung des Organismus ebenso gut wie dieser erbringt und dabei möglichst dieselben Fehler macht – wie würde ich dann vorgehen?
Bischof (in prep, S. 143)
Formal modeling in psychology - Empirisches Praktikum, Ludwig-Maximilians-Universität München